1996年度（平成8年度） | 資料集 | 大分県産業科学技術センター

平成8年度 研究報告 大分県産業科学技術センター

カラーパターン投影法に基づくBG

A外観検査装置の試作

佐藤辰雄＊。北山公也＊不

＊機械電子部・＊＊新鶴海興産株式会社

ÅPぎ0も0もぎpeEq硯i pm

enも王ns peeもまm

gBG

ÅBas edon

Tat s uoSATO

★andKi m

i yaKI TAYA丸鼠A☆k

Tユ′ 竺eehani cs ＆El ect r oni cs Di vi s i on，☆★s hi nTs ur ukai Kous anCo．Lt d．

要旨

2次元の画像処理と3次元計測を併用し、BG．Aパッケージのはんだボール頂点の3次元座標を計測する外観検査装置を試作し

た．画像処理によりボールのⅩY位置を計測し，その中心付近の高さを3次元計測により計測するものである．画像処理と3次元計

測には同一のカラーCCDカメラを使うことにより位置ずれは起こらない．3次元計動乱色相が直線的に変化する縞模様のカラー

パターンを平行光で投影したカラーパターン投影法を用いた．距離の算出は，対象物体の凹凸に応じて生じるカラーパターンの

ゆがみ量を，基準面からの色相差で検出する方法を採った．この手法は対象物表面の分光反射率の違いなどにより誤差が発生

するが，誤差の軽滅法の検討を行うとともに，測定対象をBG．Åに，計測範囲をはんだボールの頂点付近に限定することで問題を

回避した．また，全視野を一括計測できるので原理的に高速である。本検査装置は①特殊な光学系を必要とせず．忍市販のCCD

カメラが使用できるのでローコスト化が可能，笠画像処理と3次元計測の併用で高速処理，等の特徴を有する．

2．検査装置の概要

試作した検査装置は，モノクロ画像による画像処理と，カラ

ーパターン投影法に基づく3次元計測とを組み合わせることに

より，BGAのはんだボール面に関する検査を高速に行うもので

ある．

2次元計測

L はじめに

I Cの製造では最終工程として電気的な性能検査の他に，外

観検査を行うが，QFPなどのパッケージについてはリードの浮

きや曲がりといった項目について検査を行っており，これらの

パッケージに対応した非接触の計測検査装置が多く開発され

ている．

しかし最近は高集積度LSI のパッケージは，QFPからBGA

またはCSPへ移行しようとしでノ、る．BGAやCSPはI Cリードに

相当するはんだのボールをパッケージ底面に2次元に配置し

た構造となっており。ボール面の外観検査が必要となってきた。 これらの検査は人手による目視検査ではもちろんだがゥ従来 の画像処理手法で行う自動検査ではほとんど検査不可能で、

特にボールの平坦度は計測が困難である．

血方，BC」Aパッケージに対応した検査装置も市販されるよう

になってきてはいるが，それらはいずれもレーザ変位計を搭載

したもので，レーザスポットでボール面を2次元にスキャンする

ようになってお畑ボ」ル高さ方向の精度は高いもGr ）の，処理

速度が遅く高価であるという欠点がある．

本研究は，画像処理に併弼して，カラーパターン投影法に

基づく3次元計測法を導入することで、ポール面をスキャンす

ることなく1度に計測することにより検査速度を高速にできる検

査装置を試作した≠J ので、以下これについて説明する．

Fi g．且 検査装置の概要

カラーパターン投影法については，田島らが，Rai n！〕0＼㌔

Range Fi n〔i er （RRFT）′ と呼ぶシステムを提案している．これは回

折格子によって分光した虹状の連続スペクトルパターンを対象

物に照射し，それぞれ分光感度の異なる2程のセンサでスペク

トル分布を求めて三角測量により距離を求めるものである．光

学系やセンサが特殊であるが，本質的に対象物の表面〔ノり色の

影響を受けにくいこと，一一山度に視野内の全面を計測できる等の

優れた特徴を持っで．、る。

平成8年廣 研究報告 大分県産♯科学残菊センター

ー方本提案では，投影するカラーパターンを，通常の平行

白色光源とカラーパターンを印刷したフィルタにより発生させ、

受ける側のセンサも市販のカラーCCDカメラとすることにより簡

略化した−これにより装置がローコストで製作できるとともに，照

明光の強度を強くできる利点がある．

モノクロ画像は∴通常の画像処理を行い，BG．1のさまんだボ

ールの輪郭をとらえてその中心位置などを計測する。カラー画

像では，カラーパターン投影法による距離計測を行い，はんだ

ボールの頂点の高さを計測する．この時，モノクロ画像の取得

とカラー画像の取得は同一のCCDカメラで行うため位置ずれ

は生じない．また，3次元計測時，カラーパターンを斜め方向

から投影するときオクルージョンにより投影（計測）不可能な場

所が生じるが，少なくともはんだボールの頂点は必ず計測可能

なため検査の目的に関しては問題とはならない．

平行な縞模様のカラーパターンを斜め上から投影し5直上

のカメラで観測すると，投影された平行カラーパターンの像は 対象物の凹凸に応じてゆがみが生じている．このとき画像上の 任意の点における色合いと，その点の基準面（高さ）における 色合いの定量化ができれば，投影角と色合いの差の関係から

その点における高さが計算できる．

3．2．色相

色合いの表現のために色相（Hue）を導入する．色相の計算

にはいくつかの方法があるようだが，ここでは次の式によりカラ

ーカメラのRGB信号から計算で求める．

朋玩＝mi n（尿，G，β ）

厨′ ＝属一朗玩

G′ ＝G−．り沈 β ′ ＝β −．り′ ／J

i

2

＋

＋

勘勘

＋

＋

＋

／

／

榊榊

G

β

児

′

F

−ノ、盲し

ニ

〃

i i 、▲ l J ／J ∼＝β 主ぎ 財gれ＝腰 （i ）

i l 、▲ l ナノ■ 〃＝G

3．三次元計測の原理 3．1．計測原理の概要

計測の基本的な原理は光切断法と同じである．一本のスリッ ト光を斜め上方から物体に投影し，それを直上から観察すると， 物体の凹凸に応じてゆがんだスリット像が得られ，そのゆがん だスリット像のずれ量から物体の高さが計算できる．

視野内の全面を計測するためには，このスリット光を視野内 全面にわたって走査する方法や，スリットの本数を増やす方法 などが考えられるが，走査の場合には計測時間が遅くなり，複 数スリットとすると一度に全面のスリット像が得られそうに思える がスリット光とスリット像との対応関係が決定できなくなるなどの 欠点が発生する．

この問題を解決するにはカラーパターン投影法が考えられ る．色合いが連続に変化している縞模様のカラーパターン（Fi g． 2）を投影し，それをカラーカメラで観測した像は，同じ色合い の部分を追跡すれば一本のスリットの像と同じになる．この追 跡操作を様々な色合いについて行うことにより複数のスリット像 を同時に得たのと同じ結果が得られ，結果として全面同時計 測が可能となる。しかしこの操作は実際には繰り返し処理量が 多くなり，処理が遅くなる．

ここでガは色相で，0≦ガ＜3で循環するものとする． 3．3．距離（高さ）の算出

高さの算出のため座標系を次のようにおく．即ち高さ方向を Zとし，投影光の中心線がズ∴−Z面内で，カラーパターンの 平行縞模様がy軸に平行になるようにする．この様子をFi g．3

に示す．

源

光

色

ヨ

行

ヾ、

﹁

′

J

＼

＼

顔

∴∵−∼−∴

予∴−

つ

J

損什

ン

J

−ヽ・．

．ハ、、

＼

2

≠什

ン

ー

ト、・

．√、

ユ

‖許

ン

J

タ

ーノ

Fi g。3 光学系の配置の様子（計測範囲は基準面の上

30× 30× 5狩官椚のエリア）

平行縞模様カラーパターンを投影するカラーフィルタはフ色 相が直線的に変化するように設計する．このときの任意の点の

色相変化の勾配を次のように決める．

d紺／戊＝A

このとき，対象物の凹凸に応じてゆがんだカラーパターン像

（a） （b）

ぎi g．2 カラーパターン像の例

（a）白色基準面に投影したカラーパターンの像

（b）基準面上に27×27× 2 椚椚の白色平板状のブロッ

クを置いたときのカラーパターン像

平成8年度 研究鎚告 大分県産業科学技術センター

画像が、そのバイアスの影響を位相シフトすることにより軽減さ

れる・この処理手順とキャンセルされる様子をFi g．5，Fi g．6に

不丁

から計測した色相差Åガは次式によりガ座標の変位Å方に

変換される．

△斉＝△ガ／鬼

没影光が平行で投影角が∂とすれ楓その点における基

準面からの距離（高さ）は次式により求められる．

ÅZ＝△ 方t an∂

＝（△％）t an∂

＝（・上〃

（2）

n √∫ ．さ

ここで係数C＝t a は一定値である．したがって、ある点

における高さは本来基準面に投影されたであろうパターンの 色相からの色相差に比例する．そこで基準面位置をZ＝0と

し，この係数をキャリブレーションで求めておけば，投影角およ

び投影パターンの色相変化の勾配はあらかじめ測定すること なく高さが測れる．この様子をFi g．4に示す．

Fi g，5 対象物の分光反射率の影響の軽減

この様な操作はさらに複数回繰り返してノイズ等の影響を軽減 することもできる。

韓志蒜昏

↓旧鮒酪

嫁窓蒜百庖蛸革

（a） （b） （c）

Fi g・6 色相ずらし処理の効果（距離画像での表示は，低い ところを暗く，高い方を明るく表示してある）

（a）基準面に置いたの平板状のブロックのカラー画像

（b）色相ずらしをしないで計測したときの距離画像

（c）色相ずらしによりほぼ正しく計測された距離画像

3．5．BGAへの対応（金属表面における鏡面反射）

多くの3次元計測手法では表面が金属のような鏡面反射特

性を持つ物体を計測することは一般にできない．しかしはんだ

ボールの場合は通常かなり酸化されているので完全な鏡面反 射とはならず，散乱反射もかなりみられチカラーパターンの色

相を決定することが可能である。

鏡面反射特性を持つ物体の計測ではこのほかにも周囲の 映り込み（2次反射）らある．形状によっては計測点での散乱反 射成分より近傍からの2次反射成分の方が大きくなり，偶の距

離（高さ）が計測される場合がある．

このような理由から，BGAを対象とする場合，全面にわたっ て正確な計測を行うことはできない．しかしここではボール頂点

付近の高さ分布さえ得られればいいので，ボール中央部につ

いてのみ高さ計測を行うものとする．中央部はほぼ平坦であり．

2次反射の影響はあまり受けない∴また，前述のようにボール

訝i g．4 距離算出原理

3．4．測定対象の表面色の影響の軽減

この様なカラーパターン投影法では計測対象物の表面色の

影響が問題となる．この影響を軽減するために、色相がそれぞ

れ循郡勺に2方／3づっずらした3通りの投影パターンを準備し，

（度0，Go，β 0），（厨i ，Gいβ 】），（厨ニラG2，腰2）とし．次の

腰＝願0＋G三＋β2

G＝Go＋風＋児2

彪＝β0＋尿】＋Gz

この操作により対象物体の表面色によりバイアスを与えられた

平成8考慮 研究報告 充分興産轟科学扱衆奄影潜血

中心レ㌻〕座標取得にさま2次元〔′ り動豪処理を用いるたれ問題は

ない．

3．6．ブイノ♭タとカメラ分光感度の非直線性歪の軽減

カラーフィルタはそれを軒削するとき〔7〕出力装置（／り特性によ

り設計通りの色相が表現できていない．また，カメラの分光感

蜜特性もRGBの境界での特性が直線的に減衰しているわけ

でごまない。ニれらの理由からタカラーフィルタの色相変化を直 線に設計したにも関わらず、カラ血㌧ベターンを寮影したときの

画像から得られる色相の変化は直線とはならない．そこで、投

影光の色相変化が基準面上で観測した時に直線となるように

補正を行う．二の補正データは，基準面上に白い平板を置い

て得た投影画像の色相分布の回帰分析から求めた直線と，実

際の分布との差から求める．

ニのようにして得た，白色基準面上に投影したカラーパター

ンの色相変化の例をFi g．7に示す

試作した実験装置ずハ十ご、ウェアぎ

まノ、ミソニコンとモノク；二・画

像町入カポ山∴カラー画像の入刀ポ山一ヾ＼カラーバターン投

影削り光源とカラー血フィルタ。モノクコ画像取得時㌻）7二ぉうの

LEざ〕光源，カラ州〔二C［）カメフなとからなる、 1

2次元〔類句像処理を行う場合悠∵対象物の両サイド斜め上

方から1」E［〕照明を与え，ニれをカラーCCDカメラにより真上か

ら塞影し1 モノクロ画像琵か〕込みボードを経由Lてパソコンに取

り込むさカラ椚−カメラを使／つてモノク㌻ニブ画像を得る… ニさ；ヒゝ実際〔′ 一つ

対象物である己G．ごゝが、金罵（ぎまんだ〉と黒またほ濃すグリーン

の樹脂からなるためサニントラスト比が碍易いごいうことでRチャ

不ルを使ったbニのときLE盲〕照明光章ノ赤色とした 】

3次元計測を行うときはブライトガイドを経由して導入された

白色光は〉スリット及びレンズを通して十分な面積の平行光と なり，さらに フィルタを通ってカラ血パター・ンとして対象物に投

影される−ニれをカラーーCCDカメラにより真上から横影しタカラ

一画像取り込みボ十ヾを経由してバソニンに取り込む。 このように、モノクロ画像の取得とカラー画像の取得は筒一

のカラーCCDカメラで行うため、両者の問での位置ずれは生

じない．カメラと投光器グ〕周りの光学系部分の実際の様子を

Fi E−9に示つ∴

Fi g．7 白色基準面上に投影されたカラーパターン健から得 られる魚種変化の例

4．実験

尋．1．試作した実験装置

「⊥「ヵラ＿ 【 ⊂Cごカメラ

レンズ

ファづハー￣ ライ1ガイド

＼＼軋

〒

F豆g．9 カ．メラと投光暴腰りの光学系

名．2．距離（高さ）計測め精度評檎

距離計捌精度の評価実験としてはぎカメラCつ視野ミニ対して

′＼トー」、 ナウブ広1′、ヨ色の平板（ノ写さ約0∴まf l l 三1程度二せ順；ニ重ねてその 高さを計測した−ニのときフそれぞれ〔‘ ）高さについて5回計測し， その手均幸標準偏差士で評価しニ．結果を” ！己t 涙ユに示す こ〔7っとき紆腋藩論美甘笹均は約封施踊である．ニ〔′ ：結果カーら

誤差範降を三三Ⅳと見積じれば＼現状ず測定精度烏宣㍑そ

±日脚錐椚とみなせる

二−∴ユニr T∴

ノ／ヽ

C／ノLE⊃象賢明

芳ラーモニタ

、 、

ごこ二竿竺＝二二J 十七』

CZU 「

− ∵

：：

汁 一 ㌣ ㌦ −⊥

r r r

⊥ヱニヒエ上

ビデオ「− ンタ箋

」モノ糾ライバ ∴・ミ ち耶舜音量 」仙」

F主g申S 試作した検査装置のハードウエア構成

平成8尊慮 研究報告 水分興産薬科学務審センタ叫

T亀bi el 距離く高さ）計測の実験結果

5虚 今後の課題

以上述べてきたように、現状の試作機では計測精度∵処理

速度ともに実用域には到達できなかった，

5、1．距離計測誤差につし㌔て

荘パターン光投影像を取り込む段階でF対象物の色の影響

（分光反射率の問題）を受けていることが大きい。これを改善す

るには，根本的に表面の亀などの影響をキャンセルできる方法

を考える必要がある．同時にカメラの分光感度もキャンセルで

きることが望ましい．

芝投影するカラーパターンのスペクトル分布の問題もある。こ

の問題については，色表現が的確に行える方法を検討する必

要がある．同時に，補正についても検討の余地がある．

雷照明光源の平行度も問題となる。現時点では特に評価して

いないが，これを改善することも精度向上に寄与する。

5．2．処理時間について

①現状ではかなり遅いが，計算時間自体はあまり遅くはなく，

この時問の大半は3種のカラ山フィルタを交換するためにステ

ッピングモータを駆動し機械的に移動するのに要している，し

たがって，投影パターンを電子的に換える等して高速化する

必要がある．例えば，カラ山フィルタの代わりに液晶投射器な

どを使用することが考えられる。

②計算時間については処理をDSPで置き換える等すれば，

さらに高速化できると思われる．

平板重ね放数 測定値半均 測定値標準偏差

3〔〕 30

−‡6〔） 50

920 50

138〔j 5〔）

1850 50

（単位二 錘ア￡）

4．3．BGAの計測例

実際にBGAのボール面の計測を行った．3次元計測結果 の距離画像をFi g。10（a）に，またその上に2次元画像処理に よって求めたボール中心のマークを重ねて表示したものをFi g．

10（b）に示す。

6巳 むすび

高密度実装用LSレヾッケージのBG▲Åを対象とした検査装置

を試作した。計測には∴従来からよく使われている2次元の画

像処理と，3次元計測を併用して処理の簡単化を計った．

3次元計測手隠鼠色相が直線的に変化する平行縞模様を

用いることにより光切断法を拡張し，色相に着目して処理の簡

単化を計った．この手法はカラーパターン投影法に属すむのと

考えられる−

また，いくつかの誤差要凶についても，完全ではないが改善

を試みた。今後は実弔域までの精度向上が必須である，

なお，太研究は実践的研究者養成事業にて実施し，第8［彗

「外観検査の自動化＿ワ州クショップニ5j にて発表したものを再掲

したものであるン

ー：、．・一

二1］田島譲二、岩川正人∴職血boⅥ・Rar l ge Fi ‡1dピj 、による距離

画像取得”，信幸論（こ工）… H），、j 73m【トⅠⅠぅ3，PP。374こぅ82（ヱ990こ≡

［2コ井口征士∴佐藤宏介∵三次元画像計測” ，昭晃堂（1990j

：3二 佐藤辰雄，北山公也ク” カラーパターン投影法に基づく

BGA外観検査装置の試作” ，第8回「】外観検査の自動化」ワレ

クショップ，精密工学会∼主）Pl OO【105（1996）

（a）BG▲ちの距離画像

臣こb）距離画像の上にポールセンター位置を重ねて菜示

Fi g｝且駿 箆GÅのボレゾレ面を計測した結果

4．司▲ ．計測時閻

現状紆許浮簸では 一連〔つ計測に烏耳目頂捗を要していな

ただし，ニの時間の大半悠3程のカラーフィルタを交換するた

／た〉に要Lている時間でありぎ3次元計測の処理時間はおよそ

2．4型∴2次元画像処‡ 撃の時間さまおよそ1。2秒である∴使用し

た計算機はヰ86工）X2二芦6弘三をi z である．